[アップデート] Amazon BedrockでIntelligent Prompt Routingが発表されました(プレビュー) #AWSreInvent
データ事業本部 インテグレーション部 機械学習チームの鈴木です。
re:Invent2024のキーノートのうち、Dr. Swami Sivasubramanian Keynoteで、Intelligent Prompt Routingのプレビュー提供が発表されました!
以下のAWSブログでも紹介されています。
Intelligent Prompt Routingについて
Amazon BedrockでIntelligent Prompt Routingを使うと、同じモデルファミリーの基盤モデルを組み合わせて使用して、プロンプトの複雑さに応じてより適切な基盤モデルにルーティングし、品質とコストを最適化できるようになりました。
例えば、AnthropicのClaudeモデルファミリーの場合、Claude 3.5 SonnetとClaude 3 Haikuの間でリクエストをルーティングさせる、というようなことができるようです。
Intelligent Prompt Routingは、米国東部(バージニア北部)および米国西部(オレゴン)リージョンでプレビュー利用できます。
オレゴンリージョンでBedrockのコンソールを確認すると、Foundation modelsセクションにPrompt Routersが追加されていました。
終わりに
re:Invent2024のキーノートのうち、Dr. Swami Sivasubramanian Keynoteで、Intelligent Prompt Routingのプレビュー提供が発表されたためご紹介しました。
基盤モデルとしてどれを使用するかについて、特にサービス開発する際には頭を悩ませている方は多いのではないかと思います。個人でモデルを使う程度であればどのモデルを使っても価格面で大きな差はないかもしれませんが、多くのユーザーが利用するとなった場合にはモデルの選定によって課金額が変わってきます。ただ、モデルの規模を小さいものを選定すると満足いく回答が生成できない場合があります。こういった場合にIntelligent Prompt Routingの機能を使えば、比較すると高めの料金の代わりにリッチな回答を生成できるモデルと、安価で高速に必要十分な回答を生成できるモデルの自動的な使い分けが期待できます。
さっそくブレビュー版を利用できるので、こういった課題をお持ちの方はぜひ試してみてはいかがでしょうか。